Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening
重新思考 PPO 中的 Critic 学习：理解并缓解价值平坦化
🧭 PPO critic 稀疏监督优化 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Westlake University · Nanjing University · Tsinghua University
发现 PPO critic 的价值平坦化失效模式，提出仅对少数间隔状态施加 critic loss 的 SP3O，提升推理策略与训练稳定性
📌 工作参考价值（4 点）
- 若用 PPO/RLAIF 优化多轮对话、Agent 或推荐策略且奖励常是 terminal（转化/完成/点击），可把 critic loss 从逐 token 改成只对 3-5 个间隔位置（如 30%/60%/90% 加尾部）监督；实现只是 loss mask 改动，通常不增加 rollouts，但能改善 token 级 credit assignment。
- 建立 critic 价值分辨率诊断：对中间状态采样多条 continuation 估计 MC value，对比 critic 预测的响应内变化幅度；若 critic 变化远小于 MC，即存在 flattening，从而避免只看 response-level AUC 或 loss。
- 对长序列训练，关注相邻状态表征/梯度冗余：密集监督会产生大量相似更新，稀疏锚点能提升 critic 表征 effective rank、降低 actor 更新震荡，可结合训练稳定性指标上线验证。
- 如果业务里使用 PPO 并观察到训练不稳或 critic 无法区分过程好坏，不妨尝试 sparse critic supervision；论文还提示 tail anchor 对减少重复输出有额外收益，可在长文本生成任务中单独试验。